各種優化器Optimizer的總結與比較

1.梯度下降法(Gradient Descent) 　　梯度下降法是最基本的一類優化器，目前主要分為三種梯度下降法： 　　　　標准梯度下降法(GD, Gradient Descent) 　　　　 ...

雙向LSTM

1.理論 　　雙向循環神經網絡（BRNN）的基本思想是提出每一個訓練序列向前和向后分別是兩個循環神經網絡（RNN），而且這兩個都連接着一個輸出層。 　　這個結構提供給輸出層輸入序列中每一個點 ...

雙向 RNN

1.基本理論 　　雙向 RNN 結合時間上從序列起點開始移動的 RNN 和另一個時間上從序列末尾開始移動的 RNN 2.邏輯圖 　　 　　　　其中 h (t) 代表通過時間向前移動的子 RNN ...